Andmekaeve tulemuste statistiline olulisus ja vahetustega randomiseerimine

Antud kokkuvõte on koostatud peamiselt artiklite Gionis et al. [2007] ja Hanhijärvi et al. [2009] põhjal ja käsitleb andmekaeve tulemuste huvitavuse või olulisuse hindamist. Andmekaeve ülesanne on otsida suurtest andmemassiividest kasulikku informatsiooni ja seoseid, mis võimaldaks uuritavatest andmetest paremini aru saada ja teha nende põhjal intelligentsemaid otsuseid. Üks võimalus taolist informatsiooni leida on otsida kombinatsioone elementidest, mis esineved tihti koos. Kuna erinevaid kombinatsioone on tihti väga suur hulk, siis on ülesanne arvutuslikult keerukas ja seetõttu on välja pakutud algoritme palju. Kuid ainult sagedaste hulkade leidmine ei vii meid enamasti lõppeesmärgini, milleks on kasuliku informatsiooni leidmine. Huvitavad ja kasulikud on tavaliselt tulemused mis on mingis mõttes üllatavad, informatsioon mida me enne analüüsi ei teadnud ja mis ei olnud oodatav. Näiteks, kui poest ostetakse palju koos piima ja leiba siis see seos ei pruugi olla huvitav, sest mõlemad on populaarsed kaubad. Samas tekiila ja sidruni tihe koosesinemine ostukorvis võib viidata mingile spetsiifilisele seosele kahe toote vahel, sest nende juhuslik kokkusattumine pole nii tõenäoline. Et filtreerida välja kõige huvitavamad tulemused, peaksime me neid võrdlema oodatud tulemustega juhusliku andmestiku korral. Matemaatilise statistika meetodid formaliseerivad toodud idee. Näitks kui me teame kui palju poest iga kaupa eraldi osteti, siis me saame välja arvutada kaupade koosesinemiste arvu jaotuse eeldusel, et neid kaupu pannakse